Science：我国学者揭示序列工作记忆在猕猴大脑中表征的几何结构【附三位院士点评】
来源：中国科学院脑科学与智能技术卓越创新中心（神经科学研究所）
2022年2月11日，Science 期刊以长文形式发表了题为《序列工作记忆在猕猴前额叶表征的几何结构》的研究论文。该研究由中国科学院脑科学与智能技术卓越创新中心（神经科学研究所）、中国科学院灵长类神经生物学重点实验室王立平研究组、上海脑科学与类脑研究中心闵斌副研究员和北京大学生命科学学院唐世明课题组合作完成。
在该研究中，科学家训练猕猴记忆由多个空间位置组成的序列，并利用在体双光子钙成像技术记录猕猴大脑前额叶皮层的神经元活动。
研究人员发现神经元以群体编码的形式表征了序列中的每一个空间位置，并在这些表征中发现了类似的环状几何结构。该研究推翻了经典序列工作记忆模型的关键假设，为神经网络如何进行符号表征这一难题提供了新的见解。
欢迎加入
全国学习记忆学术讨论群
添加小编微信
brainnews_11
-留言学习记忆研究群-
人类大脑无时无刻不在处理序列信息，不论是语言沟通、动作实施还是情景记忆，本质上都涉及对时序信息的表征。另一方面，序列的执行需要一定的时间，大脑需要在应用时序信息之前记住整个序列。比如，我们需要在在问路时记住指路人给出的一系列方向指引，在学习新的舞蹈动作时记住老师演示的一连串动作模式。
在这些情况下，不仅单个内容需要被记住，它们之间的顺序也不能混淆。认知心理学家们早在19世纪初就开始思考序列信息的表征方式，序列信息编码也被认为是人类语言句法结构的前提，机器学习领域对序列翻译的探索更是催生了如今大显身手的Transformer模型。但是，对于具有时序信息记忆的大脑神经编码机制，我们仍知之甚少。
实验设计
猕猴是演化上最接近人类的模式动物，其认知能力、大脑的结构与功能相比于其他模式动物更接近人类，是研究时间序列等复杂高级认知功能的最佳模型。因此，为了探究时序记忆编码问题，研究人员训练猕猴记忆由多个位置点组成的空间序列（图1）。
在任务中，猕猴面前的屏幕上会依次闪现三个不同的点，猕猴需要在几秒钟之后将这些点按之前呈现的顺序汇报出来。在汇报前的几秒记忆保持期内，空间序列的信息便以工作记忆的形式被暂时储存在大脑中。
为了记录大脑神经元群体在猕猴进行任务时的活动状态，研究人员对工作记忆的大本营——外侧前额叶皮层进行了双光子钙信号成像。钙信号可反映神经元的脉冲放电活动，而序列信息表征的关键就在记忆期神经元群体的活动模式之中。
图1：猕猴空间序列记忆任务
猜想
大脑如何在记忆期内同时表征序列中多个信息呢？研究人员猜想猕猴的大脑中也有一块“屏幕”，猕猴可以把出现过的点记在这个屏幕上。可如果三个点同时在记忆保持期内显示在了这个屏幕上，每个点的次序又该如何体现呢？猕猴的大脑里面是否会同时存在三块不同的屏幕？这样每个屏幕只需要记下一个点的信息，而且屏幕之间不会互相干扰。
用不同屏幕来表征序列信息
研究人员分析了钙成像获得的高维数据，发现可以在高维向量空间里面找到每个次序的信息所对应的二维子空间(subspace)，即找到其对应的“屏幕”（图2）。
在每个子空间内，不同的点所对应的空间位置与真实视觉刺激的环状结构保持了一致。而且，不同次序所对应的子空间接近相互正交，说明大脑确实用到了三块不同的屏幕来表征序列信息。
图2：序列记忆在神经高维向量空间的表征
“屏幕”是稳定通用的
为了进一步探究大脑是否总是用相同的这几块“屏幕”记忆不同类型的空间序列，研究人员对数据做了解码分析，即运用机器学习方法训练线性分类器来区分不同次序上的空间信息。比如，用猕猴正确应答时的神经元群体活动训练解码器，可以在部分做对的序列里面取得较好的解码效果。这些结果提示了用于编码次序的“屏幕”是稳定通用的。
环的大小随次序的增加而减小
研究人员还发现，不同次序的子空间之间共享了类似的环状结构，只是环的半径大小会随次序的增加而减小。
一个可能的解释是，次序靠后的信息所分配到的注意资源更少，导致对应的环变小、区分度降低。这一结构也对应了序列记忆的行为表现，例如我们日常生活中如果记忆的内容越多，越往后的信息便更容易出错。
群体神经元水平
该发现也可总结为在群体水平的空间信息编码几何结构受时序调制的性质。有意思的是，这种性质并不完全适用于单个神经元水平，而单神经元活动的增强调制正是经典序列工作记忆模型的关键假设，提示了序列记忆的编码应更加关注群体神经元性质。
神经网络符号表征的新思路
该研究第一次在群体神经元水平阐释了序列工作记忆的计算和编码原理，也为神经网络如何进行符号表征这一难题提供了新的思路。上世纪80年代，人工智能领域就有研究者提出张量乘积这一概念来实现神经网络对符号结构的表征，但其如何在神经网络层面自然涌现一直没有被很好的解决。
序列工作记忆的神经表征正好对应了将该符号表征由对应次序的子空间嵌入到高维向量空间中，同时支持了下游神经网络对符号结构信息的线性读取。
图3：王立平研究员、闵斌副研究员、研究助理胡沛烑、博士后谢洋讨论课题
郭爱克 院士点评
这是一篇重要的科学论文。它的科学意义在于揭示了在工作记忆的时间尺度上，序列信息在大脑前额叶皮层的神经编码和表征机制。
在人类大脑的认知活动中，如语言通讯，执行各种功能，情景记忆等都与时序信息有关。例如，唱一首歌，听一段音乐。一般地说，歌是不能倒着唱的。又如在本届北京冬奥会上，中国17岁小将苏翊鸣在坡面障碍技术赛场的行云流水般的完美表现也是时序信息和空间信息的完美融和。在更大的时空尺度上，我们可以说中国农历的24个节气也是大自然对序列信息的记忆。
这篇论文的创新性在于以猕猴的序列学习为对象，设计了时间和空间信息两个线索共存的实验范式（好比当年我和唐世明在抉择研究中采用了颜色和形状两个视觉线索共存的视觉输入），采用了双光子在体钙成象技术，记录了数千个大脑前额叶皮层神经元，发现了高维神经元状态空间可以分解为多个二维子空间之和，从而揭示了序列信息的工作记忆在猕猴前额叶皮层表征的简单几何结构。这个发现揭示了序列信息编码利用了降维原则，从而降低了神经计算复杂性。这是人类大脑在时间序列表征上的复杂性和简约性的辨证统一。这使我想起了哲学家叔本华所说，“简约性永远是真理和天才的共同特征”。
我还特别感兴趣的是论文关于空间-时间信息相互交融的研究结果：证明序列信息中时间和空间的整合是发生在整体水平而不是在单个神经元层面。令人高兴的是，这个结果为70年前Karl. Lashley提出的理论假设“序列信息是通过创造和维系神经活动来进行加工。为了控制序列动作，我们的大脑需要将其工作瞬间转移到持续的神经活动模式上…”提供了实验数据支持。这就是科学魅力之所在！
这篇论文将对受脑启发的人工智能研究发生影响。例如2020年美国自然杂志发表的多巴胺的分布式价值表征（Nature，Vol 577, 2020），而不是“大锅饭”式的平均值表征, 就将强化学习的效率大大的提高了。
陈霖 院士点评
认知活动的一个核心维度是时序。时序信息的表征和操作是包括记忆、语言等重要认知活动的基础。大脑如何编码时序信息是极为重要的未解之谜。
中科院脑智卓越中心王立平研究员和同事们利用双光子钙成像在猕猴的侧前额叶皮层上观察到数千个神经元在猕猴执行空间序列工作记忆任务时的活动模式，并通过巧妙的数据分析，包括对群体神经活动的解码和模型的建立，得到了猕猴大脑前额叶对序列信息编码的深刻理解。
在工作记忆期内，前额叶在群体神经元水平上构建了若干个针对时序不同阶段的空间位置信息的几何表征。这些几何表征本质上是神经系统对动物所需记忆的序列信息从时序到空间的重编码。他们的研究表明，这些重构的几何编码是稳定且通用的。尤为重要的是，他们的发现还表明，前额叶群体神经元在将记忆信息从视觉空间变换到抽象的表征空间过程中，物体和物体之间的“相邻性”这个知觉组织的最基本的性质仍然保持不变。
祝贺王立平和他的同事们这个在认知神经科学领域的里程碑式的重要工作！
王以政 院士点评
信息可以通过序列表征，比如；语言和动作。大脑存储具有时序信息的神经机制是神经科学的重要问题。但这一问题仍不十分清楚。中国科学院脑科学与智能技术卓越创新中心（神经科学研究所）的王立平研究员与他的合作者们，在Science杂志报告了他们研究这一问题新的发现。他们通过在体双光子钙信号成像，记录了猕猴大脑神经元在记忆和重复确认位置序列时的活动状态。
他们分析了复杂的钙成像数据，发现：可以在复杂的神经元钙成像“空间”里面找到每个次序的信息所对应的子空间(subspace)。他们的结果提示；序列工作记忆是复杂群体神经活动的空间表征。这一原创发现清楚地阐释了序列工作记忆的神经机制，也为理解神经网络如何进行符号表征这一难题提供了新的思路。